![[新機能]Amazon Bedrock Data Automation (プレビュー)が登場しました #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3nibOl2sZ0LKJueI0FHFi5/14de7bd294f7916a28b789105c60d450/reinvent-2024-newservice-jp.jpg)
[新機能]Amazon Bedrock Data Automation (プレビュー)が登場しました #AWSreInvent
2024.12.05こんにちは、@TakaakiKakei です。
2024年12月2日～12月6日（米国太平洋標準時）に開催のAWS re:Invent 2024。
今回は以下の新機能についてご紹介します。
- Amazon Bedrock Data Automation (プレビュー)が新しく登場
New Amazon Bedrock capabilities enhance data processing and retrieval
3行まとめ
- Amazon Bedrock Data Automation（以降、BDA）は、ドキュメント・画像・音声・動画などの非構造化マルチモーダルコンテンツから価値ある情報を抽出するフルマネージド機能
- 重要な瞬間のビデオ要約、不適切な画像コンテンツの検出、複雑なドキュメントの自動分析など
- スタンドアロン機能として、または RAG ワークフローのナレッジベースを設定するときのパーサーとして使用可能
何が嬉しいか
従来のRAGでは、主にテキストベースのコンテンツから情報を抽出していました。BDAの登場により、非構造化マルチモーダルコンテンツから情報を抽出しやすくなり、より多様なコンテキストをソースとしたRAGを構築できることが期待されます。
AWS公式ドキュメント
BDA全般のユーザーガイドです。
Knowledge Basesでのデータパースで、BDAを利用する際の情報が言及されている、ユーザーガイドです。
BDAの制限に関するユーザーガイドです。
Bedrockの機能の利用可能リージョンに関するユーザーガイドです。執筆時点では記載がありませんが、BDAもこちらに追加される可能性があります。マネジメントコンソール上ではオレゴンリージョンで利用できることを確認しています。
試してみた
AWSマネジメントコンソールを開き、オレゴンリージョンのAmazon Bedrockのサービス画面で「Data Automation(データオートメーション)」を選択します。
ユースケースに応じて2種類の出力が用意されています。組み合わせることも可能です。
- 標準出力
- カスタム出力
デモを試してみます。
下記の流れで実行するようです。
- ファイルを選択/アップロード
- 結果を確認
- プロジェクト/ブループリントの作成
- リソースを使用する
以下の設定で結果を生成してみましょう。
- サンプルデモを選択するか、ファイルをアップロードして始めましょう:
サンプルデモを使う - アセットのファイルタイプを選択:
ドキュメント- 運転免許証
結果の出力先として、S3バケットの作成が必要になります。確認をクリックすると、バケットが自動作成され、結果の作成が始まります。
結果が生成されました。
標準出力
結果の標準出力のタブを確認していきます。Configurationという欄があります。標準出力の結果の生成に利用された、設定が表示されているようです。例えば以下のような設定が利用されています。
- Text Format:
Text with Markdown - Output Format:
JSON
画面下部に移動すると、Resultsという欄があります。ここに結果が表示されています。ドキュメントレベルのタブには、運転免許証の画像を元に、Text with Markdownのフォーマットで結果が生成されています。
Element Levelのタブには、ドキュメントの各要素を元に、Text with Markdownのフォーマットで結果が生成されています。
ResultsのDownload Resultsボタンを押下すると、Results.zipというファイルがダウンロードされます。解凍すると、StandardOutputDocument.jsonというファイルがありました。生成された結果について、Output Formatで選択されていたJSONのフォーマットで確認できます。
画面右上に移動すると、Configurationという欄に戻ります。Regenerate resultsボタンを押下すると、結果を再生成できます。プロジェクトに追加
ボタンを押下すると、新しいプロジェクトや既存のプロジェクトに設定を追加できます。
新しいプロジェクトに作成して追加してみます。ボタンを押下すると、ダイアログが表示されるのでプロジェクト名を追加して作成します。
新しいプロジェクトが作成されました。Configurationの内容がプロジェクトに追加されています。
カスタム出力
結果のカスタム出力のタブを確認していきます。BDAを使用してドキュメントや画像から情報を抽出する際、出力を細かく調整するための機能のようです。これにより、抽出されたデータを特定の形式や構造に変換できます。ブループリントは、カスタム出力設定を実現するための「指示リスト」のようなものです。ブループリントには、ファイルからどのように情報を抽出し、どのように出力を変換するかが記載されています。例えるなら、ブループリントは「レシピ」のような役割を果たし、BDA がそのレシピに従ってデータを処理するというイメージです。
今回の場合は、US-Driver-Licenseというサンプルのブループリントが使用されています。サンプルブループリントは編集ができないので、調整したい場合はブループリントを複製して編集します。
ブループリントを複製ボタンを押下すると、上図のようなダイアログが表示されます。ブループリント名を入力して複製します。
カスタム出力設定の対象ブループリントの画面に遷移しました。この画面で、先程のブループリントをベースのGUIで編集することができます。その後、プロジェクトに追加したり、ブループリントを保存でバージョン管理ができます。
カスタム出力設定の親画面に移動してみました。ここではサンプルブループリントや、先程複製したブループリントが確認できます。
ユースケース
3つのユースケースが用意されており、それぞれで「標準出力」・「カスタム出力」・「両方の組み合わせ」のどれを選択するべきかが記載されています。
- RAG indexing
- Intelligent Document Processing
- Media Analysis
API
上記はBDAをAPIで利用するためのユーザーガイドです。作成したプロジェクトをこちらのAPIで呼び出すことで、以下のようなことを行っていく流れになるかと思います。
- 非構造化マルチモーダルコンテンツから価値ある情報を抽出
- RAG ワークフローのナレッジベースを設定するときのパーサーとして利用
さいごに
一通り触ってみて、以下の認識を得ました。
- プロジェクト: 標準出力とカスタム出力の設定の集合体
- ブループリント: カスタム出力のレシピ
- カスタム出力の画面では、サンプルブループリントと、カスタムブループリントが確認できる
- デモ画面では、様々なアセットタイプで標準出力やカスタム出力の結果を確認できたり、設定変更した際の結果を確認できる
- 作成したプロジェクトをAPIで呼び出すことで、非構造化マルチモーダルコンテンツから価値ある情報を抽出したり、RAG ワークフローのナレッジベースを設定するときのパーサーとして利用
今後、実際にAPIを呼び出してみたりして、より深く理解していきたいと思います。
それではまた！
![[レポート] Customizing models for enhanced results: Fine-tuning in Amazon Bedrock (AIM357) #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
